Albrecht von Stosch sinh ra tại Koblenz, trong một nhánh của một dòng họ quý tộc vùng Schlesien, đã từng từ bỏ đẳng cấp quý tộc và sản sinh ra nhiều nhà thần học Kháng Cách tài ba. Tiêu biểu trong số đó có vị Cha Tuyên úy nổi tiếng của Đại Tuyển hầu tước Friedrich Wilhelm I xứ Brandenburg, Bartholomäus v. Stosch. Ngoài ra, ông nội của Abrechts v. Stosch cũng là một Cha Tuyên úy tại kinh đô Berlin. Tuy nhiên, các con của ông lại chuyển sang sự nghiệp quân sự. Sự phục vụ của những người con của ông trong quân đội Phổ đã tạo điều kiện cho họ nhận lại đẳng cấp quý tộc mà gia đình đã từ bỏ. Điều này đã đến với Trung úy Wilhelm St. vào ngày 11 tháng 4 năm 1815 và em trai của ông này là Đại úy Ferdinand St. vào ngày 11 tháng 1 năm 1815. Viên đại úy này chính là phụ thân của Albrecht, anh em họ của Hans Stosch-Sarrasani, người sáng lập ra rạp xiếc Sarrasani nổi tiếng thế giới trong những năm trước Chiến tranh thế giói thứ hai.

Vào ngày 18 tháng 10 năm 1845, tại Koblenz, Stosch đã kết hôn với Rosalie Ulrich (13 tháng 12 năm 1822 tại Koblenz – 26 tháng 7 năm 1902 tại Mittelheim), con gái của Bác sĩ August Leopold Ulrich, người giữ cấp Geheimer Medizinalrat (Tư vấn Y học xuất sắc) của Vương quốc Phổ, và bà Auguste Hoffmann.